Bagaimana cara menggunakan model Mistral AI?

Mixtral 8x7B dijalankan melalui llama.cpp dan llm-llama-cpp

Pada hari Jumat, 8 Desember, Mistral AI men-tweet tautan magnet misterius. Ini adalah kedua kalinya mereka melakukan ini, yang pertama pada tanggal 26 September ketika mereka merilis model Mistral 7B yang luar biasa, juga dalam bentuk tautan magnet.

Rilis baru kali ini adalah file 87GB yang berisi Mixtral 8x7B - "model campuran ahli renggang (SMoE) berkualitas tinggi dengan bobot terbuka" menurut artikel mereka yang diterbitkan tiga hari kemudian.

Mixtral adalah model yang sangat mengesankan. GPT-4 telah lama dikabarkan menggunakan arsitektur hybrid ahli, dan Mixtral adalah implementasi berlisensi terbuka pertama yang benar-benar meyakinkan dari arsitektur ini yang pernah saya lihat. Ini telah menunjukkan skor benchmark yang mengesankan.

PR untuk llama.cpp ini menambahkan dukungan untuk model baru. llama-cpp-python kemudian diperbarui untuk menyertakan patch.

Artinya adalah... Anda sekarang dapat menjalankan Mixtral di Mac (dan platform lain, meskipun saya sendiri belum mengujinya di platform lain) menggunakan plugin llm-llama-cpp saya.